![]() コンピュータを援用してセンサデータから物体の運動を計算する方法
专利摘要:
本発明は物体に取り付けられたセンサのセンサデータからコンピュータを援用して物体の運動を計算する方法に関する。前記センサデータは様々な時点に検出された、前記物体の周囲にある測定点から成る測定点集合を含んでおり、第1の時点に検出された第1の測定点集合と第2の時点に検出された第2の測定点集合の間での前記物体の運動が求められる。本方法はまず、前記第1および第2の測定点集合から、例えば直線分、円などのような構造要素の形態で構造情報を抽出し、いずれの構造タイプにも割り当てられない測定点とともに記憶する。続いて、同じ構造タイプを有する構造要素間の対応付けを求め、構造要素を互いに写像する変換を実行する。最後に、次のステップにおいて、割り当て不能な測定点と構造要素との対応付けと対応付けられた測定点と構造要素の相互の変換が行われる。本発明の方法により複合スキャンが形成され、この複合スキャンに基づいて物体の固有運動を求めることができる。構造要素および測定点の対応付けは有利には、センサの測定雑音を考慮した統計的手法によって行われる。本方法は例えばロボット、車両、クレーンなどのような自律移動システムの固有運動を算出に使用することが特に適している。 公开号:JP2011511943A 申请号:JP2010546295 申请日:2009-02-06 公开日:2011-04-14 发明作者:ファイテン ヴェンデリン;フィーゲルト ミヒャエル 申请人:シーメンス アクチエンゲゼルシヤフトSiemens Aktiengesellschaft; IPC主号:G01S17-88
专利说明:
[0001] 本発明は、コンピュータを援用してセンサデータから物体の運動を計算する方法および相応する装置、ならびに相応するコンピュータプログラム製品に関する。] [0002] 本発明は例えば車両、飛行機、ロボットなどのような移動物体の固有運動を求める技術分野に属する。このような物体の自律運動では、空間内での、例えば運動の2次元平面内での、物体の位置および向きを求めることが必要である。位置測定には、物体に取り付けられた測定センサ、例えばレーザスキャナが使用される。これらのセンサは物体の周囲環境を把握し、これによって複数の測定点を形成する。これらの測定点は、例えば周囲の物で反射したレーザスキャナのレーザ光線の伝搬時間から得られる。] [0003] レーザスキャナを位置測定に使用する場合、レーザスキャナはたいてい、地面に平行に光線を旋回させ、最も近い反射点までの距離を測定するように取り付けられる。このようにして、2次元測定点の系列が自律物体の座標として得られる。なお、この系列はスキャンとも呼ばれる。これらのデータから物体の固有運動を求めるために、先行技術では、早い時点で行われたスキャンを現スキャンと比較することが知られている。その際、これら両方のスキャンをできるだけ良好に相互に写像する変換が探される。] [0004] 先行技術では、様々な時点における測定点の比較に基づいて物体の固有運動を求める標準的な方法が種々存在している。よく用いられている方法を概観するには、文献[1]を参照されたい。] [0005] 公知の方法は基本的には2つのグループに分かれる。第1のグループの方法は複数の測定点から構造要素、とりわけ直線分を抽出し、これらの構造要素をできるだけ良好に相互に写像する変換を探す。第2のグループは検出された測定点の形態で生データを処理する。第1のグループは例えば室内のような構造化された環境の中で正確に、高い信頼性をもって動作する。これに対して、第2のグループは汎用的であるが、正確でなく、計算コストも高い。これら2つのグループの方法は、周囲環境が部分的にしか構造化されていない場合、例えば単独の壁しか抽出できない場合には、良く機能しない。この場合、第1のグループの方法は、壁に平行な、物体の変位は抽出せず、第2のグループの方法は、互いに比較される測定点の、偶然にしかも誤って割り当てられたペアに固執する傾向がある。] [0006] 本発明の課題は、コンピュータを援用してセンサデータから物体の運動を計算する方法において、物体の固有運動を簡単に、高い信頼性をもって求めることができるようにすることである。] [0007] この課題は独立請求項1、請求項26、または請求項27に記載されている特徴によって解決される。本発明の展開形態は従属請求項に定められている。] [0008] 本発明による方法では、物体に取り付けられたセンサのセンサデータが処理される。その際、センサデータは様々な時点に検出された物体周囲の測定点からなる測定点の集合を含んでおり、第1の時点に検出された第1のデータ集合と第2の時点に検出された第2のデータ集合との間の物体の運動が求められる。] [0009] 本発明による方法では、第1のステップa)において、第1の測定点集合から1つまたは複数の構造タイプの構造要素を抽出することによって、第1のデータ集合を得る。同様に、第2の測定点集合から構造要素を抽出することによって、第2のデータ集合を得る。第1および第2のデータ集合はそれぞれ抽出された構造要素と、構造要素に割り当てることのできない割り当て不能な測定点とを含んでいる。] [0010] ステップb)では、第2のデータ集合の同じ構造タイプの構造要素が第1のデータ集合の相応する構造要素に対応付けられる。対応付けが見つかるかぎり、その対応付けに基づいて、第2のデータ集合の構造要素を第1のデータ集合の構造要素に写像する変換シーケンス(場合によってはただ1つの変換だけ、対応付けが存在しない場合には、変位のない零変換を含む)が実行され、それにより第3のデータ集合が得られる。] [0011] 次にステップc)において、第3のデータ集合の構造要素が第1のデータ集合の割り当て不能な測定点に対応付けられる。対応付けが見つかるかぎり、その対応付けに基づいて、第3のデータ集合の構造要素を第1のデータ集合の割り当て不能な測定点に写像する第2の変換シーケンス(場合によってはただ1つの変換だけ、対応付けが存在しない場合には、変位のない零変換を含む)が実行され、それにより第4のデータ集合が得られる。] [0012] 最終的に、少なくとも第1および第2の変換シーケンスに基づいて、第1の時点と第2の時点の間の物体の運動が求められる。] [0013] 本発明による方法は、適切な仕方で、構造情報を構造要素の形態でも、割り当て不能な測定点としても処理できることを特徴としている。したがって、本願発明の方法は冒頭で述べた第1のグループの方法と第2のグループの方法の双方の利点を併せ持つ。本願発明の方法では、まず抽出した構造要素が一致するかどうかが調べられ、続いてその結果得られた変換が割り当て不能な測定を構造要素と比較することによって精緻化される。このようにして、検出された測定点の2つの集合を比較することによって、対応付けの誤りが少ししかないまたは全くない形で、物体の固有運動を簡単に求めることのできる方法が得られる。] [0014] 本発明による方法の好適な実施形態では、抽出される構造要素は少なくとも直線分タイプの構造要素である。有利には、本方法のステップb)において、第1の構造要素として直線分タイプの構造要素が抽出される。その際、構造要素の抽出には、例えば文献[1]に記載されている公知の方法を使用してよい。] [0015] 本発明による方法の好適な実施形態では、抽出される構造要素は別の構造タイプも、とりわけ円弧のタイプも含む。これら別の構造タイプを使用することにより、構造要素間のより正確な対応付けが、したがってまたデータ集合相互間のより正確な写像が達成される。] [0016] 本発明による方法の好適な実施形態では、ステップa)において、まず連続する測定点を含む連結成分が求められる。なお、1つの連結成分に属する隣り合う測定点は最大の点間距離を超えないものとする。この場合、円弧タイプの構造要素は以下のようにして連結成分から特に簡単かつ効率的に抽出することができる。 まず、円を計算する。ただし、この円は、連結成分の各端部にある境界測定点と、連結成分の境界測定点の間の測定点、とりわけ境界測定点間の実質的に中点に当たる測定点とを通る。連結成分の各測定点の円までの最小距離が所定の閾値よりも小さければ、連結成分の測定点は計算された円に割り当てられ、そうでなければ、円からの距離が最大である連結成分の測定点において連結成分が2つの連結成分に分割される。] [0017] 上記の方法によれば、短時間の簡単な幾何学的考察によって、構造要素として処理しうる適切な円弧が得られる。] [0018] 本発明による方法の特に好適な実施形態では、ステップb)およびc)において、適切な統計的手法によってセンサの測定雑音も考慮される。これにより、物体の固有運動を求める際の正確さが高まる。好ましくは、この測定雑音は共分散行列および相応するマハラノビス距離の形態で取り込まれる。これらの量は当業者には周知である。ステップb)の第1の変換シーケンスは特に以下のように反復によって決定される。 ステップb.i)において、変換された第2のデータ集合の構造要素と第1のデータ集合の構造要素をそれぞれ含んだ構造要素ペアの1つの集合について、構造要素ペアの構造要素を互いに写像する複数の変換のマハラノビス距離を計算する。ただし、前記マハラノビス距離はその時の共分散行列に依存している。その上で、マハラノビス距離を考慮して構造要素ペアが選ばれ、選ばれた構造要素ペアの構造要素を互いに写像する変換が行われる。これによって、変換された新しい第2のデータ集合が得られる。] [0019] ステップb.ii)では、構造要素ペアの集合から少なくとも選ばれた構造要素ペアが削除され、共分散が更新され、ステップb.i)に戻る。] [0020] 上記の反復プロセスでは、ステップb.i)における変換の選択の際に、好ましくはマハラノビス距離の小さな変換および/または長い構造要素の間の変換および/または変換の集まりが選好される。] [0021] ステップb.i)で行われる変換は、本発明の好適な実施形態では、とりわけカルマンフィルタに基づいて推定される。ステップb.ii)における共分散行列の更新はカルマンフィルタを使用しても同様に特に効率的に行われる。なお、その際、共分散行列を新たに推定するためにカルマンフィルタの更新式が使用される。] [0022] 好ましくは、ステップb.ii)において、所定の閾値よりも大きなマハラノビス距離を有する変換によって互いに写像される構造要素から成る構造要素ペアも構造要素の集合から削除される。ただし、上記マハラノビス距離は更新された共分散行列に依存する。] [0023] 本発明による方法の別の実施形態では、第1の変換シーケンスを求めるための反復の開始時には、変換された第2のデータ集合はステップa)で得られた第2のデータ集合と一致しており、構造要素ペアの集合は、第1のデータ集合と第2のデータ集合の構造要素を含む可能なすべてのペアまたは事前に選ばれた構造要素ペアを含んでいる。ただし、事前に選ばれた構造要素ペアには、所定の閾値以下のマハラノビス距離を有する変換によって互いに写像される構造要素が含まれている。ただし、上記マハラノビス距離は初期共分散行列に依存する。] [0024] 特に好ましい実施形態では、最初の共分散行列は走行距離測定の測定ノイズに基づいてまたは運動モデルから求められる。] [0025] 本発明による方法の別の実施形態では、ステップc)の第2の変換シーケンスは以下のように反復によって求められる。] [0026] ステップc.i)において、変換された第3のデータ集合の構造要素と第1のデータ集合の割り当て不能な測定点をそれぞれ含んだ構造要素-測定点ペアの1つの集合について、構造要素-測定点ペアの構造要素を構造要素-測定点ペアの割り当て不能な測定点に写像する複数の変換のマハラノビス距離を計算する。ただし、このマハラノビス距離は共分散行列に依存している。その上で、マハラノビス距離を考慮して構造要素-測定点ペアが選ばれ、構造要素を選ばれた構造要素-測定点ペアの測定点に写像する変換が行われる。これによって、変換された新しい第3のデータ集合が得られる。] [0027] ステップc.ii)では、構造要素-測定点ペアの集合から少なくとも選ばれた構造要素-測定点ペアが削除され、共分散が更新され、ステップc.i)に戻る。] [0028] 好ましくは、上記の反復プロセスでは、ステップc.i)における変換の選択の際に、マハラノビス距離の小さな変換および/または類似した変換の集まりが選好される ステップc.i)で行われる変換は、本発明の好適な実施形態では、とりわけカルマンフィルタに基づいて推定される。共分散行列の更新もカルマンフィルタを用いて行ってよい。] [0029] 上記反復プロセスの好適な実施形態では、ステップc.ii)において、所定の閾値よりも大きなマハラノビス距離を有する変換によって割り当て不能な測定点に写像される構造要素を含む構造要素-測定点ペアも、構造要素-測定点ペアの集合から削除される。ただし、上記マハラノビス距離は更新された共分散行列に依存する。] [0030] 本発明による方法の別の実施形態では、第2の変換シーケンスを求めるための反復の開始時には、変換された第3のデータ集合はステップb)で得られた第3のデータ集合と一致しており、構造要素-測定点ペアの集合は、第3のデータ集合と第1のデータ集合の割り当て不能な測定点を含む可能なすべてのペアまたは事前に選ばれた構造要素-測定点ペアを含んでいる。なお、事前に選ばれた構造要素-測定点ペアには、所定の閾値以下のマハラノビス距離を有する変換によって構造要素が割り当て不能な測定点に写像されるような構造要素-測定点ペアが含まれている。ただし、上記マハラノビス距離は現在の共分散行列に依存する。] [0031] 本発明による方法は好適な実施形態ではさらにステップc)の実行後にまだ残っている割り当て不能な測定点の対応付けも探す。これにより、データ集合の相互の写像をさらに正確に求めることが可能になる。残っている割り当て不能な測定点は上で定義した4つのデータ集合に含まれており、これらの測定点は、適切な対応付けが見つかる限り、第1のデータ集合の割り当て不能な測定点と対応付けられる。次に、上記の対応付けに基づいて第4のデータ集合の割り当て不能な測定点を第1のデータ集合の割り当て不能な測定点に写像する第3の変換シーケンス(場合によってはただ1つの変換のみを含んでいてもよいし、対応付けが存在しなければ、変位なしの零変換を含んでいてもよい)が実行され、これにより第5のデータ集合が得られる。そして、第1の時点と第2の時点の間の物体の運動が第1、第2および第3の変換シーケンスに基づいて求められる。] [0032] 本発明による方法の上記の実施形態では、第3の変換シーケンスを求めるために、とりわけ以下のステップを有する反復が行われる。 ステップi)では、変換された第5のデータ集合の割り当て不能な測定点と第1のデータ集合の割り当て不能な測定点とを含む測定点ペアからなる1つの集合について、測定点ペアの割り当て不能な測定点を互いに写像する変換の、共分散行列に依存するマハラノビス距離を計算し、このマハラノビス距離を考慮して、測定点ペアを選び、選ばれた測定点ペアの測定点を互いに写像する変換を実行する。これにより、変換された新しい第5のデータ集合が得られる。 ステップii)では、上記の測定点ペアの集合から少なくとも上記の選ばれた測定点ペアを削除し、共分散行列を更新し、ステップi)に戻る。上記ステップi)において変換を選択する際、好ましくは最小のマハラノビス距離を有する変換および/または同様の変換の集まりが選好される。] [0033] 上で第5のデータ集合を求める際、再び統計的手法を用いてセンサの測定雑音を考慮することが好ましい。本発明の有利な実施形態の1つでは、ステップi)で実行される変換はとりわけカルマンフィルタに基づいて推定される。共分散行列の更新もカルマンフィルタを用いて行うことが好ましい。] [0034] 本発明の別の実施形態では、センサデータは物体にレーザスキャナをあてて得られたレーザスキャンの形態で処理される。本発明による方法の1つの好ましい適用分野はロボットおよび/またはクレーンおよび/または車両の運動の分析、とりわけこのような物体の自律誘導のための運動分析である。] [0035] 上記の方法の他に、本発明はさらにコンピュータを援用して物体に取り付けられたセンサのセンサデータから物体の運動を計算する装置も包摂している。ここで、センサデータは、様々な時点において検出された、物体周囲の測定点からなる集合を含んでいる。上記の装置は、第1の時点に検出された第1の測定点集合と第2の時点に検出された第2の測定点集合との間における物体の運動を求める手段を有している。この手段は、装置の動作中に上で説明した本発明による方法を実行するように構成されている。] [0036] 本発明はさらに、コンピュータ上でプログラムを走らせたときに本発明による上記の方法を実行する、機械可読媒体に記憶されたプログラムコードを含んだコンピュータプログラム製品にも関する。] [0037] 以下では、本発明の実施例を添付の図面に基づいて詳しく説明する。] 図面の簡単な説明 [0038] 本発明による方法の実施形態による連結成分の抽出を説明した概略図である。 本発明による方法の実施形態による円の抽出を説明した概略図である。 測定点の構造要素を本発明による方法の1つの実施形態に従って対応付ける本発明による方法の流れを描写した概略図である。 測定点の構造要素を本発明による方法の1つの実施形態に従って対応付ける本発明による方法の流れを描写した概略図である。 測定点の構造要素を本発明による方法の1つの実施形態に従って対応付ける本発明による方法の流れを描写した概略図である。 測定点の構造要素を本発明による方法の1つの実施形態に従って対応付ける本発明による方法の流れを描写した概略図である。 測定点の構造要素を本発明による方法の1つの実施形態に従って対応付ける本発明による方法の流れを描写した概略図である。] [0039] ここに説明する本発明による方法の実施形態では、センサデータはレーザスキャナによっていわゆるレーザスキャンとして捉えられた2次元の点の形態で考察される。スキャン内の個々の点は、スキャンの最中に動くレーザ光線がレーザスキャナの取り付けられた物体の周囲にある物体において反射することにより生じる。以下に説明する方法の目的は、様々な時点に求めたレーザスキャンを互いに変換し、それによってこれらの時点の間における物体の運動を求めることにより、物体の固有運動を求めることである。] [0040] そもそも異なる2つのレーザスキャンを互いに比較できるようにするため、ここに記載する本発明による方法の実施形態では、各スキャンの個々の測定点から直線分と円の形態で構造要素を求める。これらの構造要素を抽出するために、まず連結成分を点の列として求め、続いて連結成分から対応する構造要素を決定する。] [0041] 本発明の方法は、2つのスキャンを互いに変換する際に、抽出された構造要素だけでなく、割り当て不能な測定点も、すなわち構造要素を割り当てることのできない測定点も処理することを特徴としている。したがって、構造要素と測定点とを含む複合的なスキャンが処理される。本願明細書で説明する実施形態におけるこのような複合スキャン内の要素は点P、直線分Lおよび円Cの集合によって特徴付けられている。したがって、要素eiを有するスキャンSは次のように表される。 既に述べたように、直線分と円を抽出するためには、まずスキャン内の測定点の連結部分を求めなければならない。図1には、壁Wに沿って配置された測定点を基に、スキャンを連結部分に分割するアルゴリズムが示されている。測定点の連結領域は最大の点間距離によって次のように特徴付けられる。すなわち、測定点は測定点間の距離が最大の点間距離以下である場合にのみ連結成分に属する。図1では、壁W上の2つの点1と2の間の最大距離がamaxで表されている。軸xおよびyを有するセンサシステムSは点1ないし2を隣り合う光線B1とB2を介して捕捉する。壁W上で隣り合う測定点の間の距離aは、正弦定理により、左側の光線B1または右側の光線B2と図1において破線で示されている仮想的な真ん中の光線B3との間の角度距離δ/2と、この真ん中の光線と壁Wとの間の角度γと、センサシステムSによって測定された、センサシステムの原点から点1までの距離(d1で表す)とセンサシステムSの原点から点2までの距離(d2で表す)の2つの距離とから得られる。 特に 真ん中の光線B3と壁Wの間の角度γをパラメータとして選ぶことによって、隣り合う点のペアの各々について、壁上で隣り合う点の間の距離の上限値amaxが得られる。] 図1 [0042] つぎに、以下の方法に基づいて、連結成分の抽出が距離amaxを用いて行われる。 まず、スキャンの第1の測定点を最初の現連結成分に分類する。つぎに、連結成分の最後の点と次の点との間の距離が最大距離amax以下ならば、この現連結成分を次の点まで拡張する。しかし、最後の点から次の点までの距離が最大距離amaxよりも大きければ、次の点は新しい現連結成分に割り当てられる。割り当てられていない測定点はスキャン内に残り、捨てられはしない。最小の個数よりも少ない点を含む連結成分は再び削除され、割り当て不能な測定点としてスキャン内に戻される。] [0043] すべての連結成分を求めた後、最後に、直線分および円の形態で幾何学的特徴を個々の連結成分から抽出する。その際、各連結成分を一方では直線分で近似し、他方では円で近似することが試みられる。さらに、例えば直角の角のような他の要素もスキャンから抽出してよい。スキャンからの直線分の抽出は当業者には十分に知られており、例えば文献[1]に記載されている。ここで説明する実施形態では、まずよく行われている方法によって直線分をスキャンから抽出する。つぎに、円の再帰的抽出を行う。この抽出については、以下に図2を参照して説明する。] 図2 [0044] 図2の上部には、測定点P1,P2,...,P12からなる連結成分が示されている。この点の集合から円または円弧を抽出するために、各連結成分を円に分解する。その際、考察している連結成分が短すぎる場合、すなわち、点の個数が閾値に満たない場合には、この連結成分の測定点は再びスキャンに戻される。図2の連結成分から円を抽出するために、まず境界点P1およびP12ならびに連結成分の中央の点P8を考察する。これら3つの点からは、これら3つの点すべてを通る周を有する円が一意に決まる。これは境界点P1,P12を中央の点P8とそれぞれを直線で結び、各直線の垂直二等分線を求めることによって行われる。ここで、垂直二等分線の交点が円の中心点である。] 図2 [0045] これによってまず円周C上に点P1,P8およびP12が載った円が得られる。この円については、半径rと中心c=(cx,cy)が知られている。次のステップでは、円の連結成分の各点の間の距離の平方が計算される。すなわち、下記の距離が計算される。 ここで、pxおよびpyは連結成分の各点のxおよびy座標を表している。ここで連結成分の点の間のすべての距離が所定の閾値よりも低くければ、その線分は円弧に分類される。] [0046] 図2に示されている実施形態では、個々の距離d(p,c,r)は点と円周とを結ぶ垂直線として示されている。この例では、点P6と円周の間の距離は所定の閾値を超えているが、このことは点P6が黒く塗りつぶされていることによって示されている。したがって、この連結成分は円に分類される。それゆえ、次のステップでは、この連結成分が最大距離の点において、すなわち、図2の点P6において分割される。これは図2の下側に示されており、今や2つの連結成分が存在する。第1の連結成分は点P1〜P6から成っており、第2の連結成分は点P6〜P12から成っている。各連結成分についても、上記と同様のことが行われる。すなわち、第1の連結成分の境界点P1およびP6と中央点P3とに基づいて相応の円が求められ、第2の連結成分の境界点P6およびP12と中央点P9とに基づいて円が求められる。図2の例では、2つの連結成分に関して、円周の個々の点の距離は所定の閾値よりも小さいので、2つの線分は円に分類される。] 図2 [0047] 上記のアルゴリズムは過度のセグメント化の傾向がある、すなわち、1つの円弧の代わりに、ほぼ同じ中心と半径を持つ2つの互いにぶつかり合う円弧が見つけ出される傾向がある。この2つの円弧は後で再びまとめてもよい。続いて、直線分の抽出の場合と同じように、円の中心と半径が連結成分に相応して、例えば以下の最小値を求めることにより、正確に推定される。 ここで、Zは連結成分の点の集合を表している。この最小値を見つけるためには、ニュートン法、準ニュートン法または共役勾配法のような先行技術において周知の最適化法を使用してよい。] [0048] スキャン内の点が抽出された直線分にも抽出された円弧にも現れる場合、直線分と円弧との間のオーバラップ領域における対立は個々の線分の長さとオーバラップ領域内での各偏差の和とに基づいて解消される。その際、(点の個数によって測って)長い方の線分が選好される。] [0049] 複合スキャン、すなわち、抽出された直線分、円および割り当て不能な測定点を有するスキャンを得た後、最後に構造要素と2つのスキャンの測定点を互いに写像するためにスキャンマッチングアルゴリズムが実行される。このスキャンマッチングアルゴリズムについては、まず図3〜7に基づいて一般的な説明をし、後でアルゴリズムと使用される数学的な手法の詳細な説明を行う。] 図3 図4 図5 図6 図7 [0050] 図3には、十字形の点によって示された、基準スキャンとも呼ばれる第1のスキャンが示されている。なお、いくつかの点には参照記号M1〜M5が付されている。さらに、円形の点によって示された第2のスキャンも描かれており、いくつかの点には参照記号M1’〜M5’が付されている。目標は、第2のスキャンの点を基準スキャンに写像する変換を求めることである。スキャンの相互の写像はセンサの測定雑音を考慮して行われる。これにより、個々のスキャンの間の点と構造要素との相応する対応付けが誤って解釈される確率が低くなる。] 図3 [0051] ここに説明する実施形態では、2つのスキャンを互いに写像する変換は変換シーケンスの個々の変換を求めることによって段階的に求められる。その際、測定雑音は変換シーケンスの個々の変換の運動共分散行列の形で考慮される。変換は、x成分およびy成分として変換による並進を含み、別の成分として角度βの形で変換の回転を含むベクトルによって記述される。このような変換に対して共分散行列が求まる。変換の成分は確率変数として考察され、共分散行列の各要素が相応する要素の共分散を表す。ここで、共分散は第1の確率変数とその期待値の間の差と第2の確率変数とその期待値の間の差との積からなる期待値として定義されている。ここに説明する実施形態では、共分散に基づくセンサの測定雑音は公知のマハラノビス距離に基づいて考慮される。マハラノビス距離については、後でより詳細に説明する。] [0052] 図3〜7には、センサ系の位置が2つの軸A1およびA2の原点として描かれている。現在の運動共分散ないしマハラノビス距離は円または楕円によって示されている。これにより、測定雑音に基づく運動の確率が表される。楕円の場合には、運動の確率は半短軸の方向の方が半長軸の方向よりも低い。円の場合には、運動の確率はすべて方向において同じである。] 図3 図4 図5 図6 図7 [0053] 方法の開始時にまず、例えば走行距離データから、つまり、スキャナが取り付けられた物体の車輪の運動から求められる初期共分散行列が設定される。図3の例では、初期共分散行列に関していずれの変換方向も同確率であるから、運動共分散は円Cとして表されている。つぎに、図3のスキャンにおいて、上で述べた構造要素の抽出が行われる。その際、各スキャンについて、直線分が抽出される。なお、この直線分は基準スキャンにおいてはスキャン点M1およびM2ならびにその間のすべての点を含んでおり、第2のスキャンにおいては点M1’およびM2’ならびにその間のすべての点を含んでいる。] 図3 [0054] 続いて、もしあるならば、直線分の他に円も抽出される。図3の例では、円は見つからず、基準スキャンについては、どの構造要素にも割り当て不能な3つの測定点M3,M4およびM5があるだけであり、第2のスキャンについても、M3’,M4’およびM5’があるだけである。この抽出の後、両方のスキャンの抽出された直線分が互いに対応付けられる。その際、直線分相互の変換の運動共分散とマハラノビス距離が考慮される。図3の例では、スキャンごとにちょうど1つの直線分が見つかる。また、これらの直線分は、これら直線分を互いに写像する変換が運動共分散と良く協調するように、つまり、相応する変換が小さなマハラノビス距離を有するように、互いに対して位置している。これに応じて、第2のスキャンはこれらの直線分を互いに写像するために、図4に示されているように動かされる。変換後には、共分散行列の更新が行われる。その際、このために先行技術から公知のカルマンフィルタが用いられる。] 図3 図4 [0055] 図4から分かるように、今やすべての運動が同じ確率というわけではない。このことは相応する楕円Eによって示されている。特に、軸A1の方向の運動は軸A2の方向の運動よりも確率が低い、つまり、軸A1の方向において、軸A2の方向におけるよりも大きなマハラノビス距離が得られる。図4にはさらに、抽出され互いに写像された直線分Lと、基準スキャンの割り当て不能な測定点M3〜M5および第2のスキャンのM3’〜M5’が示されている。] 図4 [0056] 次のステップでは、割り当て不能な測定点M3’〜M5’の直線分Lへの対応付けの探索が行われる。マハラノビス距離が非常に大きいため、軸A1の方向におけるさらなる運動の確率は非常に低いので、割り当て不能な測定点と直線分Lとの間の対応付けはアルゴリズムによって受理されない。それゆえ、アルゴリズムの次のステップでは、各スキャンの割り当て不能な測定点どうしの対応付けが行われる。図4に示されているように、変換の最も有利な方向は軸A2に沿った方向である。測定点間の対応付けを求めるために、再び点のペアの間の可能な変換が考察され、これらの変換のマハラノビス距離に基づいて点M3とM3’が互いに対応付けられ、第1の変換によって互いに写像される。なお、この変換は図5では直線G1によって表されている。変換の実行後には再び共分散行列が更新される。] 図4 図5 [0057] 最後に、点対点の対応付けがさらなる点のペアについて繰り返される。その際、次のペアとして、測定点M4とM4’が図6の直線G2によって示されているように互いに対応付けられる。相応する変換を実行すると、より小さな共分散行列が得られる。このことは図5の楕円Eに比べて図6の楕円Eが相当して小さくなっていることから分かる。最後に、測定点M5’とM5を互いに対応付けることによって相応の変換が行われる。したがって、図7から分かるように、点のペアの個々の変換がすべて実行された後には、両方のスキャンを非常に良く相互に写像する変換が全体で1つ得られる。そのとき、共分散行列は十分に小さいので、スキャンマッチは十分な確実性をもって正しいと見なしうる。] 図5 図6 図7 [0058] 以前に行われた直線分を直線分に写像し、測定点を相互に写像するすべての変換を全部合わせた変換から、最終的に物体の固有運動が求まる。] [0059] 以下に、2つの複合スキャンを写像するスキャンマッチングアルゴリズムの個々のステップを詳細に説明する。] [0060] 点ないし構造要素e1〜enから成るスキャンS={e1,..,en}、例えば以前に記録した基準スキャンSrは固定されているものと見なし、もう一方の、特に現在の、スキャンSa0は可動であると見なす。これらの要素は点、直線または円弧としてよい。同時に、スキャンマッチングアルゴリズムを呼び出した後、初期共分散Σ0に可動スキャンの位置Tk=(x0 y0 β0)T=(0 0 0)Tの確率分布が渡される。] [0061] 次のステップでは、まず複合スキャン内で直線分が相互に比較される。一方のスキャンに直線分が存在していなければ、直線分と点の比較へと進むか、複合スキャン内に円弧が含まれているならば、円弧の比較へと進む。] [0062] 直線分のペア(Lai,Lrj),Lai∈Sak,Lrj∈Srごとに直線分と直線分を比較するために、変換の集合{Ti,j|Ti,j(Lai)とLrjは共線}が決定される。明らかにこれは、可動の直線分を基準スキャン内の基準直線分に平行な方向に向かせ、基準直線分上に移す変換である。変換の空間において、この集合自体が再び直線を形成する。各変換T=(x y β)Tにはそのときの運動共分散Σに依存するマハラノビス距離 が割り当てられる。 このマハラノビス距離は1つの直線分ペアについてパラメータとして直線分に沿った変位を含んでいる。] [0063] 今度は、直線分の間の可能な変換から1つの変換が選ばれ、そうすることで、割り当てられた直線分ペアが選ばれる。このために以下の基準が用いられる。 ・長い直線分の間の変換は短い直線分の間の変換よりも重要である。 ・ノルムの小さい変換が良い。 ・変換のクラスタが良い。 これらの基準に基づいて種々のストラテジーが導出される。本発明の1つの実施形態では、ノルムの十分に小さな、最も長い直線分の間の変換が選ばれる。これにより、誤った対応付けの危険性が最小化される。] [0064] 次のステップでは、変換Tk+1によってスキャンが並進され、回転されることによって、下記の新しいスキャンが得られる。 Sak+1=Tk+1(Sak) ここで説明する実施形態では、変換は推定によって求められる。推定された変換は、請求項に従って実施される変換ないし変換シーケンスの特定の実施形態である。以下に、推定法の例を説明する。この例では、現スキャンの直線分Laiが基準スキャンの直線分Lrj上へと並進および回転させられる。直線分の端点の位置は非常に不確実であるから、変換の推定に用いるべきでない。それゆえ、直線上に載っている直線分は、この直線に従って、長さとこの直線への垂線の向きとによって、いわゆるヘッセの標準形 によって表される。文献[2]には、直線分に属するスキャン点からこの表現を導く方法が記載されている。この表現はカルマンメカニズムの意味での「測定」と解釈される。] [0065] 文献[2]ではさらに、このような直線分の共分散がスキャン点の共分散から求められる。これはもっと後で基準直線分の共分散Σrと可動直線分の共分散Σaを求める際に使用される。] [0066] カルマンフィルタの意味で推定されるべき状態は現スキャンと基準スキャンとの間の変換である。それゆえ、 が予測の役割を占め、 が「測定」として用いられる。予測の共分散は直線分抽出の共分散Σaと変換のこれまでの共分散とから構成される。] [0067] 物体の変換T(x y β)によって予測 は に移される。 これのヤコビアンは である。予測の共分散は運動共分散ΣG=G・Σk・GTから得られる。測定の確実性のために、これに共分散Σaが加えられる。それゆえ、カルマンフィルタのゲインはKk=Σk・GT・(G・Σk・GT+Σa+Σr)-1と計算される。変換はこのランドマークの対応付けから として計算される。] [0068] 運動共分散Σk+1も同様にカルマンフィルタの更新式に従って下記のように新たに推定される。 Σk+1=(Id−Kk・G)・Σk いま求めたこの変換Σk+1により直前の現スキャンが変換され、新しい直前のスキャンが結果として得られる。すなわち、 Sak+1=Tk+1(Sak) まだ考慮されていない直線ペアが存在するならば、k←k+1とし、上記ステップに戻り、マハラノビス距離に基づいて直線分ペアを選ぶ。その際、いま考慮した直線分ペアはそれ以上考察されない。] [0069] 直線分の比較を行った後、複合スキャン内で円と円が比較され、最後には測定点と直線分が比較される。円と円との比較は直線分と直線分との比較と同様に行われるので、その方法をもう一度説明することはしない。測定点を直線分と比較する際、測定点を直線分上に移す可能な変換は2次元多様体を形成する。実際的な考慮から、つねに適切な予選を行う。ここに説明する実施形態では、この予選は確率ノルムに基づいてその時点の有利な共分散によって決定される、すなわち、 に基づいて決定される。新しい共分散は以前のケースと同様に直線分の共分散、測定点の共分散、および測定点と直線分から成るペアを選ばれた変換に写像する関数から得られる。点と直線分のペアは再び逐次的に処理される。その際、ありそうにないペアは、つまりマハラノビス距離が閾値を超えているペアは捨てられる。] [0070] 最後に、また測定点ペアが処理される。それも直線分ペアないし点と直線分のペアと同様に処理される。] [0071] 最終的に、複合スキャン相互の写像を記述する変換シーケンスが得られ、この変換シーケンスから物体の固有運動が求められる。] [0072] いま説明した本発明による方法の実施形態は数々の利点を有している。対応付け誤りの危険性に従って順に構造要素ないし点の考えられうる対応付けを使用することによって、割り当て誤りの不確実性が低下する。スキャンマッチの際にカルマンフィルタを使用することにより、測定の不確実性が統計的に適切に考慮される。カルマンフィルタの代わりに、他の不確実性の記述、例えば粒子フィルタのような無作為標本に基づいた記述を使用してもよい。必要ならば、運動の不確実性を構造要素ないし点の対応付けに重み付けすることによって考慮するように構成された方法を使用してもよい。] [0073] 参考文献 [l] Jens-Steffen Gutmann: ,,Robuste Navigation autonomer mobiler Systeme", Dissertation, 2000, Albrecht-Ludwig-Universitaet Freiburg [2] Michael Bosse: "ATLAS: A Framework for Large Scale Auto-mated Mappingand Localization", Disseration MASSACHUSETTS INSTITUTE OF TECHNOLOGY, Seiten 57 bis 62, Feb 2004]
权利要求:
請求項1 物体に取り付けられたセンサのセンサデータからコンピュータを援用して物体の運動を計算する方法であって、前記センサデータは様々な時点に検出された、前記物体の周囲にある測定点(P1,...,P12.M1,...,M5’)から成る測定点集合を含んでおり、第1の時点に検出された第1の測定点集合と第2の時点に検出された第2の測定点集合の間での前記物体の運動を求めるようにした方法において、a)前記第1および第2の測定点集合から1つまたは複数の構造タイプの構造要素(L,C)を抽出することにより、それぞれ抽出された構造要素(L,C)と構造要素(L,C)に割り当てることができない割り当て不能な測定点(M1,...,M3’)とを含む第1および第2のデータ集合を得るステップ、b)前記第2のデータ集合の同じ構造タイプの構造要素(L,C)を前記第1のデータ集合の構造要素(L,C)に対応付ける対応付けを探し、見つかった対応付けに基づいて、前記第2のデータ集合の構造要素(L,C)を前記第1の構造要素(L,C)に写像する変換シーケンスを実行することにより、第3のデータ集合を得るステップ、c)前記第3のデータ集合の構造要素(L,C)を前記第1のデータ集合の割り当て不能な測定点(M1,...,M3’)に対応付ける対応付けを探し、見つかった対応付けに基づいて、前記第3のデータ集合の構造要素(L,C)を前記第1のデータ集合の割り当て不能な測定点(M1,...,M3’)に写像する第2の変換シーケンスを実行することにより、第4のデータ集合を得るステップ、およびd)前記第1および第2の時点の間の前記物体の運動を少なくとも前記第1および第2の変換シーケンスに基づいて求めるステップを有する、ことを特徴とする物体に取り付けられたセンサのセンサデータからコンピュータを援用して物体の運動を計算する方法。 請求項2 抽出される構造要素(L,C)は少なくとも直線分タイプの構造要素である、請求項1記載の方法。 請求項3 前記ステップb)において、第1の構造要素として直線分タイプの構造要素が抽出される、請求項2記載の方法。 請求項4 抽出される構造要素はさらに円弧の構造タイプを含む、請求項2または3記載の方法。 請求項5 前記ステップa)において、まず連続する測定点(P1,...,P12)を含む連結成分を求める、ただし、連結成分に属する隣り合う測定点は最大の点間距離を超えないものとする、請求項1から4のいずれか1項記載の方法。 請求項6 円弧タイプの構造要素は連結成分から次のようにして抽出される、すなわち、前記連結成分の各端部にある境界点(P1,P12)と前記連結成分の該境界点(P1,P12)の間の測定点、とりわけ実質的に前記境界点(P1,P12)の間の中点とを通る円(C)を計算し、前記連結成分の各測定点(P1,...,P12)から前記円(C)までの最小距離が所定の閾値よりも小さい場合には、前記連結成分の測定点(P1,...,P12)を前記計算された円(C)に割り当て、前記最小距離が所定の閾値よりも小さくない場合には、前記円(C)までの最小距離が最も大きくなる前記連結成分の測定点(P6)において前記連結成分を2つの連結成分に分割することにより抽出される、請求項4または5記載の方法。 請求項7 前記ステップb)およびc)において、前記センサの測定雑音を考慮する、請求項1から6のいずれか1項記載の方法。 請求項8 請求項1のステップb)の第1の変換シーケンスを以下のように反復により求める、すなわち、b.i)変換された第2のデータ集合の構造要素(L,C)と前記第1のデータ集合の構造要素(L,C)とを含む構造要素のペアの集合について、構造要素ペアの構造要素を互いに写像する変換の、そのときの共分散行列に依存するマハラノビス距離を計算し、該マハラノビス距離を考慮して構造要素ペアを選び、選ばれた構造要素ペアの構造要素(L,C)を互いに写像する変換を実行することにより、新しい変換された第2のデータ集合を取得し、b.ii)前記構造要素ペアの集合から、少なくとも前記選ばれた構造要素ペアを削除し、前記共分散行列を更新し、ステップb.i)に戻る、ことにより求める、請求項1記載の方法。 請求項9 前記ステップb.i)において変換を選ぶ際、マハラノビス距離の小さな変換および/または長い構造要素(L,C)の間の変換および/または同様の変換の集まりが選好される、請求項8記載の方法。 請求項10 前記ステップb.i)において実行される変換がとりわけカルマンフィルタに基づいて推定される、および/または前記ステップb.ii)において、共分散行列の更新がカルマンフィルタを用いて行われる、請求項8または9記載の方法。 請求項11 前記ステップb.ii)において、所定の閾値よりも大きなマハラノビス距離を有する変換によって互いに写像される構造要素(L,C)を含む構造要素ペアを前記構造要素(L,C)の集合から削除する、ただし、上記マハラノビス距離は更新された共分散行列に依存する、請求項8から10のいずれか1項記載の方法。 請求項12 前記第1の変換シーケンスを求めるための反復の開始時には、変換された第2のデータ集合は前記ステップa)において得られる第2のデータ集合と一致しており、前記構造要素ペアの集合には、前記第1および第2のデータ集合の構造要素(L,C)を含む可能なすべてのペア、または事前に選ばれた構造要素ペアが含まれており、前記事前に選ばれた構造要素ペアには、所定の閾値以下のマハラノビス距離を有する変換によって互いに写像される構造要素(L,C)のペアが含まれている、ただし、上記マハラノビス距離は初期共分散行列に依存する、請求項8から11のいずれか1項記載の方法。 請求項13 前記初期共分散行列は走行距離測定の測定雑音に基づいておよび/または計算モデルから求められる、請求項12記載の方法。 請求項14 請求項1のステップc)の第2の変換シーケンスを以下のように反復により求める、すなわち、c.i)変換された第3のデータ集合の構造要素(L,C)と前記第1のデータ集合の割り当て不能な測定点(M1,...,M3’)とを含む構造要素-測定点ペアの集合について、前記構造要素-測定点ペアの前記構造要素(L,C)を前記割り当て不能な(M1,...,M3’)に写像する変換の、共分散行列に依存するマハラノビス距離を計算し、該マハラノビス距離を考慮して構造要素-測定点ペアを選び、選ばれた構造要素-測定点ペアの構造要素(L,C)を該構造要素-測定点ペアの測定点(M1,...,M3’)に写像する変換を実行することにより、新しい変換された第3のデータ集合を取得し、c.ii)前記構造要素-測定点ペアの集合から、少なくとも、前記ステップc.i)において選ばれた変換に対応する前記選ばれた構造要素-測定点ペアを削除し、前記共分散行列を更新し、ステップc.i)に戻る、ことにより求める、請求項1から13のいずれか1項と請求項7とに記載の方法。 請求項15 前記ステップb.i)において変換を選ぶ際、マハラノビス距離の小さな変換および/または同様の変換の集まりが選好される、請求項14記載の方法。 請求項16 前記ステップc.i)において実行される変換がとりわけカルマンフィルタに基づいて推定される、および/または前記ステップc.ii)において、共分散行列の更新がカルマンフィルタを用いて行われる、請求項14または15記載の方法。 請求項17 前記ステップc.ii)において、所定の閾値よりも大きなマハラノビス距離を有する変換によって割り当て不能な測定点(M1,...,M3’)に写像される構造要素(L,C)を含む構造要素-測定点ペアも前記構造要素-測定点ペアの集合から削除される、ただし、上記マハラノビス距離は更新された共分散行列に依存する、請求項14から16のいずれか1項記載の方法。 請求項18 前記第2の変換シーケンスを求めるための反復の開始時には、変換された第3のデータ集合は前記ステップb)において得られる第3のデータ集合と一致しており、前記構造要素-測定点ペアの集合には、前記第3のデータ集合の構造要素(L,C)と前記第1のデータ集合の割り当て不能な測定点(M1,...,M3’)とを含む可能なすべてのペア、または事前に選ばれた構造要素-測定点ペアが含まれており、前記事前に選ばれた構造要素-測定点ペアに含まれている構造要素と測定点は、構造要素(L,C)が所定の閾値以下のマハラノビス距離を有する変換によって割り当て不能な測定点(M1,...,M3’)に写像されるという条件を満たしている、ただし、上記マハラノビス距離は現在の共分散行列に依存する、請求項14から17のいずれか1項記載の方法。 請求項19 前記ステップc)を実行した後、前記第4のデータ集合を前記第1のデータ集合の残りの割り当て不能な測定点(M1,...,M3’)に対応付ける対応付けを探し、見つかった対応付けに基づいて、前記第4のデータ集合の割り当て不能な測定点(M1,...,M3’)を前記第1のデータ集合の割り当て不能な測定点(M1,...,M3’)に写像する第3の変換シーケンスを実行することにより、第5のデータ集合を取得し、前記第1および第2の時点の間の前記物体の運動を前記第1、第2および第3の変換シーケンスに基づいて求める、請求項1から18のいずれか1項記載の方法。 請求項20 前記第5のデータ集合を求める際、前記センサの測定雑音を考慮する、請求項19記載の方法。 請求項21 前記第3の変換シーケンスを以下のように反復により求める、すなわち、i)変換された第5のデータ集合の割り当て不能な測定点(M1,...,M3’)と前記第1のデータ集合の割り当て不能な測定点(M1,...,M3’)とを含む測定点ペアからなる1つの集合について、測定点ペアの割り当て不能な測定点(M1,...,M3’)を互いに写像する変換の、共分散行列に依存するマハラノビス距離を計算し、該マハラノビス距離を考慮して測定点ペアを選び、選ばれた測定点ペアの測定点(M1,...,M3’)を互いに写像する変換を実行することにより、新しい変換された第5のデータ集合を取得し、ii)前記測定点ペアの集合から、少なくとも前記選ばれた測定点ペアを削除し、前記共分散行列を更新し、ステップi)に戻る、ことにより求める、請求項19記載の方法。 請求項22 前記ステップi)において変換を選ぶ際、マハラノビス距離の小さな変換および/または同様の変換の集まりが選好される、請求項21記載の方法。 請求項23 前記ステップi)において実行される変換がとりわけカルマンフィルタに基づいて推定される、および/または前記ステップii)において、共分散行列の更新がカルマンフィルタを用いて行われる、請求項21または22記載の方法。 請求項24 物体に取り付けられた前記センサはレーザスキャナであり、前記センサデータはレーザスキャンである、請求項1から23のいずれか1項記載の方法。 請求項25 ロボットおよび/またはクレーンおよび/または車両の運動を求めるために使用される、請求項1から24のいずれか1項記載の方法。 請求項26 物体に取り付けられたセンサのセンサデータからコンピュータを援用して物体の運動を計算する装置であって、前記センサデータが様々な時点に測定された、前記物体の周囲にある測定点(P1,...,P12.M1,...,M5’)から成る測定点集合を含むものである形式の装置において、該装置は第1の時点に測定された第1の測定点集合と第2の時点に測定された第2の測定点集合の間の前記物体の運動を求める手段を有しており、該手段は前記装置の動作時に請求項1から25のいずれか1項記載の方法を実行するよう構成されている、ことを特徴とする物体に取り付けられたセンサのセンサデータからコンピュータを援用して物体の運動を計算する装置。 請求項27 コンピュータ上で実行したときに請求項1か26のいずれか1項記載の方法を実行する、機械可読媒体に記憶されたプログラムコードを含むコンピュータプログラム製品。
类似技术:
公开号 | 公开日 | 专利标题 US10614588B2|2020-04-07|Vehicle positioning or navigation utilizing associated feature pairs Zhang et al.2014|LOAM: Lidar Odometry and Mapping in Real-time. CA2935223C|2017-11-28|Adaptive mapping with spatial summaries of sensor data Behley et al.2018|Efficient Surfel-Based SLAM using 3D Laser Range Data in Urban Environments. Cole et al.2006|Using laser range data for 3D SLAM in outdoor environments US8306738B2|2012-11-06|Apparatus and method for building map EP2142884B1|2012-07-04|Positionsbestimmungsverfahren für ein geodätisches vermessungsgerät US20190294896A1|2019-09-26|Object detection neural networks US8897917B2|2014-11-25|Autonomous mobile device KR100877072B1|2009-01-07|이동 로봇을 위한 맵 생성 및 청소를 동시에 수행하는 방법및 장치 US6728608B2|2004-04-27|System and method for the creation of a terrain density model KR100493159B1|2005-06-02|이동체의 효율적 자기 위치 인식을 위한 랜드마크 및 이를이용한 자기 위치 인식 장치 및 방법 JP5548482B2|2014-07-16|位置姿勢計測装置、位置姿勢計測方法、プログラム及び記憶媒体 US9310807B2|2016-04-12|Method and system for creating indoor environment map US8427472B2|2013-04-23|Multidimensional evidence grids and system and methods for applying same Stückler et al.2012|Integrating depth and color cues for dense multi-resolution scene mapping using rgb-d cameras CN103257342B|2014-11-05|三维激光传感器与二维激光传感器的联合标定方法 JP5671281B2|2015-02-18|位置姿勢計測装置、位置姿勢計測装置の制御方法及びプログラム US8306273B1|2012-11-06|Method and apparatus for LIDAR target identification and pose estimation JP4079690B2|2008-04-23|物体追跡装置及び方法 Choi et al.2008|A line feature based SLAM with low grade range sensors using geometric constraints and active exploration for mobile robot JP5219467B2|2013-06-26|パーティクルフィルター基盤の移動ロボットの姿勢推定方法、装置及び媒体 JP2008004078A|2008-01-10|移動ロボットの格子マップ作成方法及び装置及び媒体とこれを利用した領域分離方法及び装置及び媒体 US8792726B2|2014-07-29|Geometric feature extracting device, geometric feature extracting method, storage medium, three-dimensional measurement apparatus, and object recognition apparatus Montesano et al.2005|Probabilistic scan matching for motion estimation in unstructured environments
同族专利:
公开号 | 公开日 DE102008008499A1|2009-08-27| US20100318320A1|2010-12-16| CN101939666B|2014-10-01| JP5210396B2|2013-06-12| DE102008008499B4|2009-12-31| WO2009101030A1|2009-08-20| US8798957B2|2014-08-05| CN101939666A|2011-01-05|
引用文献:
公开号 | 申请日 | 公开日 | 申请人 | 专利标题
法律状态:
2012-08-30| A131| Notification of reasons for refusal|Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120829 | 2012-11-29| A601| Written request for extension of time|Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20121128 | 2012-12-06| A602| Written permission of extension of time|Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20121205 | 2012-12-28| A521| Written amendment|Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20121227 | 2013-01-23| TRDD| Decision of grant or rejection written| 2013-01-28| A01| Written decision to grant a patent or to grant a registration (utility model)|Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130125 | 2013-02-28| A61| First payment of annual fees (during grant procedure)|Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130222 | 2013-03-01| FPAY| Renewal fee payment (event date is renewal date of database)|Free format text: PAYMENT UNTIL: 20160301 Year of fee payment: 3 | 2013-03-01| R150| Certificate of patent or registration of utility model|Ref document number: 5210396 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 | 2016-03-01| R250| Receipt of annual fees|Free format text: JAPANESE INTERMEDIATE CODE: R250 | 2017-03-07| R250| Receipt of annual fees|Free format text: JAPANESE INTERMEDIATE CODE: R250 | 2018-03-06| R250| Receipt of annual fees|Free format text: JAPANESE INTERMEDIATE CODE: R250 | 2019-03-05| R250| Receipt of annual fees|Free format text: JAPANESE INTERMEDIATE CODE: R250 | 2020-02-28| R250| Receipt of annual fees|Free format text: JAPANESE INTERMEDIATE CODE: R250 | 2021-03-01| LAPS| Cancellation because of no payment of annual fees|
优先权:
[返回顶部]
申请号 | 申请日 | 专利标题 相关专利
Sulfonates, polymers, resist compositions and patterning process
Washing machine
Washing machine
Device for fixture finishing and tension adjusting of membrane
Structure for Equipping Band in a Plane Cathode Ray Tube
Process for preparation of 7 alpha-carboxyl 9, 11-epoxy steroids and intermediates useful therein an
国家/地区
|